Toà nhà được xây dựng năm 1923, để làm nơi ăn ở cho các nhà Hải dương học, xung phong tiền trạm chuẩn bị cho việc thiết lập một viện nghiên cứu biển vùng Đông nam Á. Theo thứ tự từ mỏm núi Chụt vào, 5 biệt thự ấy có tên là: Les Agaves (Xương Rồng), Les Frangipaniers (Bông Sứ), Les Bouguinvilles (Bông Giấy), Les Flamboyants (Phượng Vĩ), Les Badamniers (cây Bàng). Biệt thự nào trồng cây nấy quanh vườn để dễ nhớ, dễ tìm. Sau khi khánh thành 5 biệt thự này, người Pháp tiến hành xây Viện Hải dương học Nha Trang năm 1925.

Chủ nhân đầu tiên của biệt thự Les Agaves là tiến sĩ Krempt - người Ðức. Ông là vị giám đốc đầu tiên của Viện Hải dương học Nha Trang. Từ năm 1940 đến năm 1945, Hoàng đế Bảo Ðại và Hoàng hậu Nam Phương thường đến nghỉ tại biệt thự Les Agaves, lấy việc câu cá, ngắm biển làm thú tiêu khiển nên cái tên Lầu Bảo Đại có từ đó. Năm 1954, Hiệp định Genève được ký kết, Việt Nam tạm chia cắt thành hai miền Nam - Bắc. Gia đình tổng thống Ngô Ðình Diệm là chủ nhân mới của 2 biệt thự Les Agaves và Les Frangipaniers. Bà Trần Lệ Xuân - phu nhân cố vấn Ngô Ðình Nhu đã đặt cho biệt thự Les Agaves (Xương Rồng) tên mới là Nghinh Phong, và Les Frangipaniers (Bông Sứ) là Vọng Nguyệt. Năm 1975, sau khi Việt Nam Cộng hòa sụp đổ, đất nước thống nhất, chính quyền cách mạng vào tiếp quản, lầu Bảo Ðại đã mở cửa đón và phục vụ khách ăn, nghỉ, tham quan.